从wmt竞赛看机器翻译史

简介 & 汇总

审计署

尚未出现transformer，主流模型是attention-RNN。

核心问题通常是如何优化神经网络结构以便解决机器翻译中的词对齐、罕见词、长句等难点问题。

2014 年提出的注意力（attention）模块就是针对性处理因为不同语言语法结构不同产生的语序不同、来源词与目标词对齐难的问题。注意力机制通过选全局性的选择关注源语言橘子的不同部分，动态地构建上下文向量来对传统 RNN 编码器-解码器进行了优化，极大改善了语言调序，尤其是中长距离调序问题。

阿里、腾讯冠军。主流方法transformer。比wmt17提升

审计署

5个项目包括英文-中文翻译、英文-俄罗斯语互译、英文-土耳其语互译，达摩院在这几个项目的自动评测指标BLEU都位居第一。

基于业界最新的Transformer结构，进行了网络结构的改进和对词语位置信息的充分利用。

尽管 Transformer 在解码速度和位置编码等方面有一些缺点，但它仍然是当前效果最好的神经机器翻译基本架构

将 Transformer 中的 Multi-Head Attention 替换为多个自注意力分支，而模型会在训练阶段中将学习结合这些分支注意力模块。其次，阿里采用了一种编码相对位置的表征以扩展自注意力机制，并令模型能更好地理解序列元素间的相对距离。

transformer + 数据生成（back translation）、多形态模型融合（ensemble）、多特征重排序（rerank）等，优化翻译效果。